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Ordering and bill calculating system for restaurant - has pen-Input 
bar s code scanner, which la coupled to processor by radio-link, with 
scanned menu data being used to control printer to provide corresp. 
bill 
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(94.09.08) G06F 13/21, GQ7G 1/12 
The ordering and bill totaliser system uses a stationary processor 
(12) linked to an Input device (30) for receiving the Identification 
data for the required menu items scanned from a menu card and a 
printer (14) providing a corresp. printed bill, which carries an 
Identification of the table position of the input device. 

Pref. the input device comprises a barcode reader pen 
communicating with the processor via a radio link, or an Input 
keyboard with an input keyboard for the memory selections. 

ADVANTAGE • Rapid ordering and accurate totalising- of correct 
bill. (8pp Dwg.No..l/2) 
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© Bestell- und Abrechnungsanlage 

© Bestell- und Abrechnungsanlage mit mindestens einer 
mobflen Einlese- und Ausgabevorrichtung (30) zur Aufnahme 
und Abrechnung von bestellten Leistungen und einer damit 
verbundenen Prozessoreinhelt (12) zur Speicherung und 
Wetterverarbeltung von mit der Einlese- und Ausgabevor- 
richtung (30) ausgetauschten Daten, wobet von einer von der 
Prozeesoreinheit (12) ansteuerbaren Ausgabeelnhe'rt (14) die 
abzurechnenden Leistungen als Rechnung ausgegeben wer- 
den^und^ede-erbrachte^ Letetung ais einzelne Posftion mit 
einer eindoutigen Identification auf der Rechnung eufgefuhrt 
1st die Bnlese- und Ausgabevorrichtung (30) jede einzelne 
Position der Rechnung zu separat abzurechnenden Post en 
auswShlen und zusammenstellen kann und den zu entrlch- 
tenden Postenprels angibt und Jede Position nach ihrer 
erstmaligen Auswahl entwertet wird und mit einer Pruffunk- 
tion uberpruft wird, ob sSmtliche Posltionen entwertet 
wurden, wobel das Ergebnis der Prufung durch ein erzeugtes 
Signal angezefgt wird. 
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Beschreibung 



Die Erfindung betrifft eine Bestell- und Abrechnungs- 
anlage, insbes. fur den Gastronomiebereich, mittels der 
Bestelleistungen vor Ort, z. B. am -Tisch eines Restau- 5 
rants, abgerechnet werden. 

Eine der zeit- und personalaufwendigen Beschafti- 
gungen im Gastronomiebereich besteht darin, fQr einen 
Hsch oder eine Gruppe zusammengerechnete Leistun- 
gen, z. B. fur Speisen und Getranke, bei Bezahlung wie- 10 
der aufzugliedern in von einzelnen Gasten zu zahlende 
Posten. ublicherweise geschieht dies derzeit dadurch, 
daB das Personal die bereits bezahlten Positionen auf 
einer ausgedruckten Rechnung streicht oder abhakt und 
durch Kopfrechnung oder Aufsummieren auf einem se- 15 
paraten Blatt den Bestellwert der einzelnen Posten er- 
mittelt Neben Rechenfehlern besteht hier insbesondere 
die Gefahr, daB infolge der Aufbruchsstimmung einzel- 
ne Positionen Qbersehen und nicht in Rechnung gestellt 
werden, und somit der Gas twin geschadigt wird. Ferner 20 
kommt es vor ( daB einzelne Positionen versehentlich 
mehrfach in Rechnung gestellt und abkassiert werden, 
und damit der Gast geschadigt wird. Besondere Proble- 
me entstehen noch dann, wenn einzelne Gaste eine de- 
taillierte Quittung Qber ihre bezahlten Leistungen wQn- 25 
schen. 

Aus der Praxis bekannt sind Bestellvordrucke, auf 
denen die bestellbaren-Speisen- und: Getranke abge- 
druckt sind und angestrichen werden kdnnen, so daB die 
jeweiligen Leistungen erkennbar sind. Derartige Be- 30 
stellzettel kSnnen jedoch nur bei einem eingeschrSnk- 
ten Angebot von Speisen und Getranken Verwendung 
finden. Ferner gilt auch hier, daB sich bei der Aufsum- 
mierung der Positionen Rechenfehler einschleichen 
kSnnen. Ferner haben derartige Zettel den Nachteil, 35 
daB bei mehreren aufeinanderfolgenden Bestellungen 
mehrerer Gaste an einem Tisch nicht mehr Qberschau- 
bar ist, welches die zuletzt bestellten Speisen und Ge- 
tranke waren, cLh.es ist jeweils f ortlauf end eine doppel- 
te Notierung erforderlich. 40 

Aus EP 0 052 306 Bl ist eine Vorrichtung zum Erfas- 
sen, Obertragen und Verarbeiten von als optisch iesbare 
Codes vorliegenden Daten bekannt mit einem batterie- 
versorgten mobilen Lesestift, der eine Lese-, Speicher-, 
Verarbeitungs-, Sende- und Empfangseinheit aufweist, 45 
und mit einer stationaren Sende- oder Empfangsanlage, 
an die weitere Datenverarbeitungsgerate angeschlossen 
sind und die Daten mit dem Lesestift in einem drahtlo- 
sen Datentransfer austauscht und weiterverarbeitet 

Der O beibe gr ifF des Anspruchs 1 geht von 50 
DE 32 15 035 Al aus. Daraus ist eine Bestellanlage fur 
den Gastronomiebereich bekannt, bei der der Kellner 
die Bestellungen am Tisch mit einer mobilen Einlese- 
und Ausgabevorrichtung (Handgerat) aufnimmt, Qber 
die die Bestellungen aufgegeben werden. Die mit dem 55 
Handgerat bestellten Leistungen werden an eine zen- 
trale Prozessoreinheit drahtlos weitergegeben, wo sie 
gespeichert und weiterverarbeitet werden. Auf Veran- 
lassung des Kellners veranlaBt die Prozessoreinheit den 
Amdnick einer Rechnung. Sobald die Leistungen fur die 60 
verschiedenen an einem Tisch plazierten Gaste nicht 
zusammen bezahlt werden, treten die bereits obenge- 
nannten Schwierigkeiten und Fehlerquellen auf. 

Der Erfindung liegt die Aufgabe zugrunde, eine Be- 
stell- und Abrechnungsanlage zu schaffen, die eine nach- 65 
tragliche Herausnahme einzelner Positionen aus einer 
Rechnung ermdglicht und zuverlassig sicherstellt, daB 
es nicht zu Fehlabrechnungen kommt. 



Die L6sung dieser Aufgabe erfolgt erfindungsgemaB 
mitdenMerkmalendes Patentanspruchs 1. 

Die Bestell- und Abrechnungsanlage besteht aus min- 
destens einer mobilen Einlese- und Ausgabevorrichtung 
und einer mit dieser kommunizierenden ortsfesten Pro- 
zessoreinheit Die Prozessoreinheit dient zur Speiche- 
rung und Weiterverarbeitung von Daten, die die Einle- 
se- und Ausgabevorrichtung liefert, und speichert dar- 
Qberhinaus noch eine Reihe weiterer Daten, zum Bei- 
spiel Preise, vorratige Ware oder dergleichen. Die Pro- 
zessoreinheit steuert eine mit ihr verbundene Ausgabe- 
einheit an, die beispielsweise ein Drucker ist und die die 
abzurechnenden Leistungen als Rechnung ausgibt Jede 
einzelne Leistung ist als einzelne Position auf der Rech- 
nung aufgefOhrt, wobei jede Position eindeutig anhand 
einer Identifikation mit der Einlese- und Ausgabevor- 
richtung ausgewahlt und zu einem separaten Posten zu- 
sammengesteUt werden kann, der eine oder mehrere 
Positionen umfassen kann, wobei die Einlese- und Aus- 
gabevorrichtung den Postenpreis angibL Dabei wird 
durch die Bestell- und Abrechnungsanlage sicherge- 
stellt, daB jede Position nach ihrer erstmaligen Auswahl 
entwertet wird, d. h. eine unbeabsichtigte Mehrfachbe- 
rechnung einer Position (auch in unterschiedlichen Po- 
sten) ausgeschlossen ist, zugleich jedoch jede nicht aus- 
gewahlte und abgerechnete Position solange "stehen" 
bieibt, so daB mit Hilfe einer vorgesehenen Pruf funktion 
feststellbar ist, ob samtliche Positionen entwertet wur- 
den und ein Signal erzeugt bzw. nicht erzeugt wird, 
wenn noch Positionen "of fen" sind. 

Mit der erfindungsgemaBen Bestell- und Abrech- 
nungsanlage ist es m6glich, eine komplexe und fehlerre- 
sistente Abrechnung mit Hilfe der mobilen Einlese- und 
Ausgabevorrichtung vor Ort vorzunehmen, ohne eine 
aufwendige Hard- und Software mitfQhren zu mQssen. 
Der Kellner selektiert mit der Einlese- und Ausgabevor- 
richtung aus der von der Ausgabeeinheit ausgeworfe- 
nen Rechnung einzelne Positionen. Jeder Position ist 
eine eindeutige Identifikation, z. B. eine Positionsnum- 
mer, zugeordnet, die vorzugsweise als Barcode, Strich- 
code oder Buchs tab encode angegeben ist Die Eingabe 
in die Einlese- und Ausgabevorrichtung kann Qber eine 
Fotozelle oder einen Scanner erfolgen, der die Identifi- 
kation direkt^von der Rechnung liest, oder ttber eine 
Eingabetastatur mittels derer zum Beispiel die von der 
Rechnung abgelesene Positionsnummer eingegeben 
wird. Die Verbindung zwischen der mobilen Einlese- 
und Ausgabevorrichtung und der ortsfesten Prozessor- 
einheit kann sowohl drahtlos als auch im Rahmen einer 
vernetzten Anlage mit vorgesehenen Einsteckplatzen 
fur die Einlese- und Ausgabevorrichtung erfolgen. Es 
kann vorgesehen werden* daB bei Aufteilung der Rech- 
nung in mehrere Posten sogleich Qber jeden abgerech- 
neten Posten eine separate Einzelrechnung von der 
Ausgabeeinheit ausgedruckt wird Durch diese einf ache 
Handhabung wird insbesondere im Gastronomiebe- 
reich dem Bedienpersonal die Abrechnung mit einzel- 
nen Gasten deutlich erleichtert Die mobile Einlese- und 
Ausgabevorrichtung zeigt jeweils den aufsummierten 
Postenpreis an, ohne daB der Betrag vom Bedienperso- 
nal im Kopf oder auf einem separaten Blatt Papier aus- 
zurechnen ware. Das Bedienpersonal braucht ebenfalls 
keine Notizen darQber anzufertigen, welche Positionen 
bereits bezahlt wurden. Es ist jederzeit mdglich, Qber die 
Ausgabeeinheit eine Rest-Rechnung auszudrucken, in 
der nur die noch nicht abgerechneten Positionen aufge- 
fOhrt und aufsummiert sind.. 

Die mobile Einlese- und Ausgabevorrichtung kann 
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kjein und kompakt realisiert werden, so daB sie leicht in 
einer Tasche Platz findet Die Prozessoreinheit kann die 
von der Einlese- und Ausgabevorrichtung registrierten 
Werte weiter statistisch auswerten, zum Beispiel fflr 
Zwecke der Lagerhaltung, der Provisionsberechnung 
fQr das Bedienpersonal oder der Finanzbuchhaltung. 

Es ist mSglich, mit der Einlese- und Ausgabevorrich- 
tung auch Tischnummern und/oder Bestellungen aufzu- 
nehmen. DafQr kann entweder die gewdhnliche Speise- 
karte diese Informationen in fOr die Einlese- und Ausga- 
bevorrichtung lesbarer Form bereithalten, oder aber 
das Bedienpersonal fuhrt eine kodierte Speisekarte mit 
sich, die mit der Einlese- und Ausgabevorrichtung gele- 
sen werden kann. Die Tischnummer kann auch auf dem 



10 



werden konnen. 

Im Speiseraum der Gaststatte sind eine Vielzahl von 
Tischen verteilt, wobei jeder Tisch mit einer als Strich- 
code (Barcode) verschlusselten auf dem Tisch 19 aufge- 
klebten Tischnummer 19a versehen ist Jeder der eine 
Anzahl von Tischen betreuenden Kellner fQhrt eine als 
Lesestift 30 ausgebildete Einlese- und Ausgabevorrich- 
tung mit sich. Der Lesestift 30 hat eine langgestreckte 
Form, die an dem vorderen Ende kegeif6rmig auf eine 
nahezu punktfdrmige Fotozelie 30a zul&uft An dem der 
Fotozelle 30a abgewandten Ende des Lesestifts 30 ist 
eine Sende- und Empfangsvorrichtung 30b angeordnet, 
die mit den Sende- und Empfangseinrichtungen 18 
Funksignale austauschen kann. Die elektrische Versor- 



Tisch maschinenlesbar angebracht sein. Die Bestellung 15 gung der Sende- und Empfangseinrichtung 30b erfoigt 

wird von der Prozessoreinheit nach Speisen und Ge- Qber in dem Lesestift 30 integrierte Batterien, die nicht 

tranken sortiert an KOche bzw. an Getrankeausschank dargestelit sind. Kurz vor dem Obergang in den Kegel- 

weitergeleitet, wo ein vorzugsweise mit der Tischnum- stumpfbereich befindet sich am vorderen Ende des Le- 

mer versehener Ausdruck die Speisen bzw. die Getran- sestiftes 30 eine Taste 30c, sowie im hinteren Bereich 

ke anfordert Es ist mdglich, zum Beispiel bei der Zu- 20 des Lesestifts 30 ein LCD-Display 30d, das als Multi- 



sammenstellung der Speisen eine Sortierung vorzuneh- 
men, so daB der Ausdruck in der KQche eine Staffelung 
in verschiedene Gange (zum Beispiel Vorspeise, Haupt- 
gericht, Nachspeise) aufweist Dies ist insbesondere 
dann gewahrleistet, wenn mit der Einlese- und Ausgabe- 
vorrichtung zugleich mit der Bestellungsaufnahme auf 
Wunsch fQr jeden Gast eine Personenidentifikation ein- 
gegeben wind. In diesem Fall ist auch moglich, durch die 
Prozessoreinheit fur jeden Tisch eine gastweise auf- 
grund der Personenidentifikation vorgenommene Rech- 
nung auszustellen. 

Mit der erfindungsgem£Ben Bestell- und Abrech- 
nungsanlage kdnnen auch andere Arten von Lieferun- 
gen vor Ort in verschiedene Posten unterteilt und sepa- 
rat abgerechnet werden, z. B. frei Haus gelieferte Hef- 
kQhlkost, Sammelbestellungen bei Versandhausern oder 
Privatgesprache in einer innerbetrieblichen Telefonge- 
buhrenabrechnung. 
Die Erfindung wird im folgenden anhand eines Aus- 



funktionsanzeige ausgebildet ist 

Der typische Ablauf einer Bewirtung im Restaurant 
kann mit der Bestell- und Abrechnungsanlage im Ablauf 
deutlich verkQrzt und vereinfacht werden. In einem er- 
25 sten Schritt ist es m6glich, mit Hilfe des Lesestiftes 30 
die Bestellungen der Restaurantgfiste aufzunehmen und 
weiterzuleiten, ohne daB es eines Notizzettels bedarf 
bzw. eine Wegstrecke zu Theke oder KOche n6tig ware- 
Die Bestellung wird vom Kellner mit dem Lesestift 30 
unmittelbar von einer Speisekarte 40 abgelesen. Die 
Speisekarte 40 weist neben der Bezeichnung des Ge- 
trfinks bzw. der Speise und deren Preise noch einen 
Strichcode 40a auf, der mit dem Lesestift 30 Qberstri- 
chen wird und dessen Information durch die Funkver- 
bindung 30b- 18 an den Computer 12 gelangt Dieser 
kann anhand der durchgegebenen Kennung erkennen, 
ob es sich urn Speisen handelt, die von der KOche 20 
zubereitet werden oder um Getranke, die an einer Bar 
22 oder Theke eingeschenkt werden. Die Bestellungen 



30 



35 



fOiirungsbeispiels unter Bezugnahme auf die Figuren 40 werden an die entsprechenden Adressaten weitergelei 



naher erlautert 
Es zeigen: 

Fig. 1 eine schematische Darstellung einer Bestell- 
und Abrechnungsanlage im Gaststattenbereich, und 

Fig. 2 ein Beispiel fur die Gesamtrechnung eines Ti- 
sches. 

In Fig. 1 ist eine Bestell- und Abrechnungsanlage fur 
den Restaurantbereich schematisch dargestelit Die Be- 
stell- und Abrechnungsanlage weist einen im Thekenbe- 



tet und dort mit Angabe der Tischnummer fur die Aus- 
lieferung zusammengestellt Dabei ist es mSglich, inner- 
halb der an die KOche 20 weitergereichten Zusammen- 
stellung eine Sortierung vorzunehmen, beispielsweise 
45 nach einer datefloankm&Big erfaBten und in Anwen- 
dung gebrachten Dauer der Speisenzubereitung, so daB 
die Gange eines Tisches jeweils zeitgleich fertiggestellt 
werden und die Speisen noch heiB dort angeliefert wer- 
den kdnnen. Es ist nicht erforderlich, daB auf alien Spei- 



reich aufgestellten Personalcomputer (Prozessorein- 50 sekar ten d er- v m rii*m^Tift^^-M y^hq^ 

heit) 12 auf, an den ein Drucker 14 angeschlossen ist An angebracht ist Es reicht aus, wenn der Kellner eine 

den Personalcomputer 12 ist weiterhin eine beispiels- Strichcode-Karte mitfiihrt, bei der beispielsweise Preise 

weise als Steckkarte realisierte Ein- und Ausgabever- und andere fQr die Bestellung unn6tige Angaben fehlen 

waltungseinheit 16 angeschlossen, welche mit einer kdnnen, so daB sie kompakt als Ablesetafel (Kellner- 

Vielzahl von aber den Speiseraum verteilten Sende- und 55 Speisekarte) realisierbar ist 

Empfangseinrichtungen 18 verbunden ist Die Ein- und Um eine Bestellung, z. B. am Tisch Nr. 19, aufzuneh- 

Ausgabeverwaltungseinheit 16 dient in erster Linie da- men, flhrt der Kellner mit dem Lesestift erst einmal 

zu, parallel ebgehende und ausgehende Daten zu sor- Qber die auf dem Tisch angebrachte Tischnummer 19a. 

tieren und so aufzubereiten, daB sie eindeutig in einem Es ist aber auch mSglich, daB die Tische in der Kellner- 

Speichermedium des Personalcomputers 12 abgelegt 60 Speisekarte schematisch dargestelit sind und darin vor 

werden kdnnen. Der Personalcomputer 12 ist weiterhin der Bestellung mit dem Lesestift 30 eingelesen werden. 

mittels Standleitung mit Ein-/Ausgabeeinheiten in der Dadurch ist die Aufnahme von Bestellungen auch dann 

Kuche und im Theken-/Bar-Bereich verbunden. Der mdglich, wenn der Zugang zur Tischnummer 19a z. B. 

Personalcomputer 12 verfOgt Qber einen Bildschirm 12a durch Geschirr verstellt ist Die Information wird Qber 

und Qber eine Vielzahl von Speichern und Registern, die 65 die Sende- und Empfangsvorrichtung 30b bzw. -einrich- 

nicht dargestelit sind, sowie Qber eine Tastatur 12b, Qber tung 18 an den Personalcomputer 12 weitergeleitet, der 

die Anderungen der Preise oder der zur VerfQgung ste- nun die fQr diese Hschnummer 19a eingehenden Bestel- 

henden Speisen und Getranke direkt online eingegeben lungen abwartet Der Lesestift 30 sendet die eingelese- 
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nen Informationen stets unmittelbar a us und erhalt ein 
Feedback, das auf dem Display 30d als Quittung oder 
Mitteilung des erfolgreichen Datentransfers erscheint 
Auf diese Weise kann der Kellner sicherstellen, daB die 
Bestellung auch angekommen ist.. Nunmehr kann der 5 
Kellner mit dem Lesestift die gewunschten Speisen und 
Getranke durch Oberstreichen des Strichcodes 40a mit 
dem Lesestift 30 auswShlen, wobei in gleicher Art eine 
Bestatigung der erfolgreichen Obertragung auf der 
Multifunktionsanzeige 30d erfolgt Falls Speisen ausge- 10 
gangen sind, und dies vorher im Computer 12 abgespei- 
chert wurde, wird dies auf dem Display 30d angezeigt 
und der Gast kann sofort eine andere Speise bestellen. 
Dadurch kann der Kellner auch bei gerade eingetrete- 
nen Engpassen die Information weitergeben. 15 

FehlbesteDungen bzw; Umbestellungen der Gaste 
kdnnen ebenfalls am Tisch vom Kellner konigiert wer- 
den, indem mit einer (nicht dargestellten) Taste am Le- 
sestift 30 oder einem Strichcode auf der Kellner-Speise- 
karte angezeigt wird, daB der im AnschluB gelesene 20 
Strichcode 40a als Bestellung storniert werden solL Es 
ist mSglich, fur bereits fertiggestellte Speisen oder Ge- 
tranke eine Storno-Sperre vorzusehen. Nach einer stor- 
nierten Bestellung ist der Lesestift 30 wieder bestellauf- 
nahrnebereit, so daB die richtige Eingabe sofort erfolgen 25 
kann. 

Durch Betatigung der Taste 30c wird das Ende der 
Bestellungen angezeigt, urn die Empfangsbereitschaft 
fur Bestellungen von dem Tisch 19 wieder abzuschalten. 
Dies kann jedoch auch durch das Oberstreichen eines 30 
dafttr vorgesehenen Strichcodes "Ende der Bestellung" 
auf der Kellner-Speisekarte erfolgen, wie im Gbrigen 
samtliche Funktionen der Taste 30c durch Lesen eines 
Strichcode-Befehls mit dem Lesestift 30 realisiert wer- 
den kdnnen, so daB eine Taste 30c nicht zwingend erf or- 35 
derlich ist 

Es ist nicht erforderlich, fur die Auswahl mit dem 
Lesestift 30 einen Strichcode 40a vorzusehen. Es ist z. B. 
mGglich, den Lesestift 30 als handlichen Scanner oder 
dergleichen auszubilden, mit dem eine maschinenlesba- 40 
re Klarschrift gelesen werden kann. Vorteilhafterweise 
besteht die Speisekarte 40 aus einer Vielzahl von Blat- 
tern, die bei Aktualisierung aufgrund von Preisfinderun- 
gen, wechselnden Tagesgerichten oder saisonalen Ak- 
tuaUsierungen von dem D nicker 14 ausgedruckt werden 45 
kSnnen. Da der Drucker 14 ohnehin. wie spater noch 
beschrieben wird, Strichcodes ausdrucken kann, kann er 
auch zum Erstellen der jeweils aktuellen Speisekarte 40 
verwendet werden. 

Ober die Tastatur 12b des Personateompntes^oder 50 
eine mit dem Lesestift 30 zu lesende als Strichcode dar- 
gestellte Anweisung, zum Beispiel durch zweimaliges 
Lesen der Tischnummer oder durch Lesen der Tlsch- 
nummer und anschlieBendes DrQcken der Taste 30c, 
veranlaBt der Personalcomputer 12 den Ausdruck einer 55 
Rechnung 50 fur den zahlungswilligen Tisch Ober den 
Drucker 14. Selbst wenn nur einige der Gaste zahlen 
wollen, wird die Gesamtrechnung 50 ausgedruckt. Der 
Personalcomputer 12 hat samtliche bestellte Speisen 
von der Bestellung an gespeichert, so daB bei Ausdruck 60 
der Rechnung 50 sichergestellt ist, daB keine anderen 
Speisen oder Getranke abgerechnet werden kdnnen als 
die, die bestellt wurden. 

Der Aufbau einer Rechnung 50 ist beispielhaft in 
Fig. 2 gezeigt Die gedruckte Rechnung 50 weist fur 65 
jede bestellte Leistung eine einzelne, eine Position dar- 
stellende Zeile auf, in der neben der (ggf. abgekQrzten) 
Bezeichnung 51, z. B. "Cheeseburger" auch der Preis 52 



der Position, z.B- "2.10" fur den Gast lesbar sind. Als 
letzte Zeile ist der Gesamtbetrag der Rechnung 50 aus- 
gedruckt, so daB sie sofort beglichen werden kann. Fer- 
ner weist jede Position der Rechnung 50 sowie auch der 
Gesamtbetrag eine sechssteilige Identifikationsnummer 
53 auf. Die ersten beiden Ziffern bezeichnen die Tisch- 
nummer, z. B. Tisch Nr. 19. Die nachsten drei Ziffern 
werden vom Computer 12 in der Reihenf olge der aufge- 
nommenen Bestellungen fortlaufend mit "001" begin- 
nend vergeben, wobei der Gesamtbetrag 'TOTAL" stets 
mit "000" bezeichnet ist Damit ist jede Position auf der 
Rechnung 50 auch fur den Kellner bereits eindeutig 
identifizierbar. Die letzte Stelle der Identifikationsnum- 
mer 53 ist zum Beispiel als Gastkennung oder als Prflf- 
ziffer vorgesehen. SchlieBlich ist ein Strichcode 54 zu 
jeder Position ausgedruckt, der im wesentlichen die ko- - 
dierte Identifikationsnummer 53 darstellt, um sie fur den 
Lesestift 30 lesbar zu gestalten. Neben den o.g. Inhalten 
kdnnen auf der Rechnung 50 noch eine Vielzahl weite- 
rer Informationen aufgedruckt sein, z. B. Datum, Zeit- 
punkt der Bestellungsaufnahme urid der Rechnungser- 
stellung, Mehrwertsteuer, Name des Kellners, Anzahl 
der bewirteten Personen eta 

Wird vom Bedienpersonal die vom Drucker 14 ausge- 
druckte Rechnung 50 an den Tisch, beispielsweise an 
den Hsch Nr. 19 gebracht und wtlnschen einige Gaste 
ihre bestellten Leistungen separat zu zahlen, reicht es 
aus, mit drrn T-jf^ftsrift^O den Barcode 54 der zu einem 
separat abzurechnenden Posten zusammenzuf assenden 
Positionen zu uberstreichen. Diese Information wird 
von der Sende- und Empfangsvorrichtung 30b an den 
Computer 12 weitergeleitet. Der Computer 12 ver- 
merkt, daB diese Position aus der Gesamtrechnung 50 
herausgenommen ist und meldet den Preis 52, der zu 
bezahlen ist, an den Lesestift 30 zurflck, der ihn im Dis- 
play 30d anzeigt DarOberhinaus meldet der Computer 
12 die Summe der fur den laufenden Posten aufgelaufe- 
nen Betrage 52 zuruck, die im AnschluB an den Einzel- 
betrag im Display 30d angezeigt wird. Der Betrag 52 fur 
eine Position wird ca. 3 Sekunden angezeigt, danach 
leuchtet der Gesamtbetrag auf. Dies wird nun fur alle 
Positionen, die ein Gast abzurechnen wunscht, wieder* 
holt. Wird versehentlich eine bereits abgerechnete und 
dabei vom Computer 12 entwertete Position ausge- 
wahlt, wird dies aem Benutzer als unzulassige Auswahl 
zurOckgemeldet, und der bisherige Gesamtbetrag da- 
nach wieder angezeigt. Durch das Drucken der Taste 
30c (oder durch das Lesen eines entsprechenden Strich- 
code-Befehls) signalisiert der Bediener, daB der Posten 
^mnmehrgyhllstSndigJs^ und der im Display 30d ange- 
zeigte Gesamtbetrag, der den Postenprexs bildet, kann 
kassiert werden. Gleichzeitig aktualisiert der Computer 
12 mit jeder Streichung den Rechnungsgesamtbetrag. 
Es ist also mdglich, mit dem Lesestift 30 weitere separa- 
te Posten durch Auswahl einzelner Positionen zu bilden 
oder aber Ober den Barcode 54 fur die Gesamtsumme 
"Total" in Fig. 2 zu streichen, wodurch der Restbetrag, 
der fur alle noch auf der Rechnung 50 aufgefuhrten und 
nicht abgestrichenen Positionen zu zahlen ist, auf dem 
Display 30d angezeigt wird. Es ist m&glich, beispielswei- 
se durch die Dauer des Niederhaltens der Taste 30c den 
Computer 12 zu veranlassen, Ober jeden einzelnen ab- 
gerechneten Posten eine separate Rechnung auszudruk- 
ken. Dies ist z. B. dann wichtig, wenn die Rechnung fOr 
Speisen und Getranke vom Gast im Rahmen einer Rei- 
sekostenabrechnung benStigt wird. Selbstverstandlich 
ist es mSglich, Mehrwertstejuerbetrage und dergleichen 
separat auszuweisen. 
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,Es ist auch mSglich, in dem Strichcode 54 auch die 
Information Qber den Preis 52 der Position sowie den 
zur Identifizierung der Position notwendigen Teil der 
Identifikationsnummer 53 zu verschlQsseln. Mit Hilfe 
eines in dem Lesestift 30 integrierten Hilfscomputers 5 
kdnnen dann die Summation en zu Posten und das Ent- 
werten der ausgewahlten Positionen vorgenommen 
werden. Durch abschlieBendes Oberstreichen der Posi- 
tion •TOTAL" kann die Summe der Postenpreise mit 
dem Gesamtrechnungsbetrag verglichen werden und 10 
geprflft werden. ob noch ein Fehlbetrag stehen geblie- 
ben ist Die vom Hilfsprozessor vorgenommenen Ope- 
rationen k6nnen nach dem Abkassieren mit dem Com- 
puter 12 ausgetauscht werden. Dadurch ist es mSglich, 
die Bestell- und Abrechnungsanlage auch bei vorQber- 15 
gehender Stoning der drahtlosen Verbindung von Com- 
puter 12 und Lesestift 30 zu betreiben. 

Alternativ zu einer Einlese- und Ausgabevorrichtung, 
die als Lesestift 30 ausgebildet ist, kann diese auch mit 
einer scannerartigen Leseeinrichtung versehen sein. Ei- 20 
ne derartige Leseeinrichtung verfugt uber einen recht- 
eckigen Lesebereich, der auf eine zu lesende Stelle auf- 
gesetzt, wobei diese von einem Lichtstrahl abgetastet 
wird, eine Auswerteeinheit die abgetasteten Informatio- 
nen entschlQsselt und weiterverarbeitet Da bei der 25 
scannerartigen Leseeinrichtung der Lichtstrahl eine 
Oberstreichbewegung Qber die zu lesende Stelle aus- 
fQhrt, ist es nicht notwendig, die Streichbewegung von 
Hand-auszufQhren. Dies erhdht die Lesesicherheit und 
erspart gegebenenfalls notwendige mehrfache Lesever- 30 
suche bis zur erfolgreichen Zeichenerkennung. Insbe- 
sondere ist es mit einem Scanner mdglich, gewdhnliche 
Maschinenschrif t zu lesen, so daB es keiner zusatzlichen 
Kodierung mit einem Strichcode 54 bedarf. 

Alternativ ist es mdglich, eine Einlese- und Ausgabe- 35 
vorrichtung mit einer Tastatur vorzusehen, mit der die 
einzelnen Positionen, z.B. durch ihre Identifikations- 
nummer 53 auf der Rechnung 50 eingegeben werden, 
wobei ein in die Einlese- und Ausgabevorrichtung inte- 
grierter Hilfsprozessor Rechen- und Speicheroperatio- 40 
nen ausfQhrt Der Hilfsprozessor kann beispielsweise 
nach einer Eingabe Qber die Tastatur Qber Funk die 
Informationen zu einem bestimmten Tisch anfordern, 
insbesondere die einzelnen Positionen einer Rechnung 
betragsm&Big zwischenspeichern. Die oben beschriebe- 45 
nen Streichoperationen kdnnen dann von der Einlese- 
und Ausgabevorrichtung vorgenommen werden und 
erst im AnschluB an eine erfolgte Abrechnung werden 
die Daten mit dem Computer 12 ausgetauscht Dabei 
flbernimmt der Hilfsprozessor die Auf gab e, sicherzu- 50 
stellen, daB keine Position doppelt abgerechnet wird 
. und daB samtliche Positionen abgerechnet wurden. Die 
Kontrolle, daB samtliche Positionen abgerechnet wur- 
den, kann beispielsweise mit dem Display dadurch ge* 
schehen, daB nach erfolgreichem AbschluB samtlicher 55 
Positionen die Anzeige blinkt Auch bei einer mit Tasten 
versehenen Einlese- und Ausgabevorrichtung ist es 
mSglich, den Scanner normale gedruckte Schriftzeichen 
lesen zu lass en, so daB ein Strichcode nicht erforderlich 
ist Auch die Tischnummer irann dann mit ihren arabi- 60 
schen Ziffernkombinationen erfaBt werden, ebenso die 
Bestellnummern auf der Speisekarte. 



PatentansprQche 

1. Bestell- und Abrechnungsanlage, insbesondere 

fflr den Gastronomiebereich, mit 

mindestens einer mobilen Einlese- und Ausgabe- 
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vorrichtung (30) zur Aufnahme von bestellten Lei- 
stungen, 

einer mit der Einlese- und Ausgabevorrichtung (30) 
kommunizierenden stationaren Prozessoreinheit 
(12) zur Speicherung und Weiterverarbeitung von 
mit der Einlese- und Ausgabevorrichtung (30) aus- 
getauschten Daten, und 

einer von der Prozessoreinheit (12) ansteuerbaren 
stationaren Ausgabeeinheit (14), Qber die die abzu- 
rechnenden Leistungen als Abrechnungsbeleg (50) 
ausgedruckt werden, 
dadurch gekennzeichnet, 

daB die Prozessoreinheit (12) jede Leistung einzeln 
mit einer eindeutigen Identifikation (53; 54) ver- 
sieht, 

daB die Ausgabeeinheit (14) jede Leistung zusam- 
men mit der zugehdrigen Identifikation (53; 54) als 
einzelne Position auf dem Abrechnungsbeleg (50) 
ausdruckt, 

daB die Einlese- und Ausgabevorrichtung (30) nach 
MaBgabe ihr eingegebener ausgewahlter Identifi- 
kationen (53; 54^ die aus denjenigen des Abrech- 
nungsbeleges (50) auswahlbar sind, die diesen aus- 
gewahlten Identifikationen (53; 54) entsprechenden 
Positionen zu einem Abrechnungsposten zusam- 
menfaflt und die Summe der betreffenden Leistun- 
gen als Postenpreis angibt, 

daB jede durch Eingeben ihrer Identifikation (53; 
54) ausgewahlte Position nach ihrer erstmaligen 
Auswahl derart entwertet wird, daB sie nicht erneut 
auswahlbar ist, und 

daB eine PrOffunktion vorgesehen ist, die an der 
Einlese- und Ausgabevorrichtung (30) angibt, ob 
samtliche Positionen entwertet wurden. 

2. Anlage nach Anspruch 1, dadurch gekennzeich- 
net, daB an der Einlese- und Ausgabevorrichtung 
(30) eine Taste (30b) vorgesehen ist, deren Betati- 
gung einen Posten abschlieBt 

3. Anlage nach Anspruch 1 oder 2, dadurch gekenn- 
zeichnet, daB die Einlese- und Ausgabevorrichtung 
(30) ein Lesestift ist der die von der Ausgabeeinheit 
(14) durch einen Strichcode (54) dargesteliten Posi- 
tionen der Rechnung (50) einzeln liest 

4. Anlage nach einem der Ansprflche 1 bis 3, da- 
durch gelceffizeichnet, daB die Prozessoreinheit 
(12) mit der Einlese- und Ausgabevorrichtung (30) 
drahtlos kommuniziert 

5. Anlage nach einem der AnsprOche 1 bis 4, da- 
durch gekennzeichnet daB ein Hilfsprozessor in die 
Einlese- und Ausgabevorrichtung (30) integriert ist 
der mehrere Register zur Abspeicherung und/oder 
Verarbeitung eingelesener Informationen aufweist 

6. Anlage nach einem der AnsprOche 1 bis 5, da- 
durch gekennzeichnet, daB die Einlese- und Ausga- 
bevorrichtung (30) eine Display- Anzeige (30d) auf- 
weist 

7. Anlage nach einem der AnsprOche 1 bis 6, da- 
durch gekennzeichnet, daB die Einlese- und Ausga- 
bevorrichtung (30) eine Eingabetastatur mit Zahlen 
und Symbolen aufweist, die zur Dateneingabe beta- 
tigbarsind. 

8. Anlage nach einem der AnsprOche 1 bis 7, da- 
durch gekennzeichnet daB die Einlese- und Ausga- 
bevorrichtung (30) eine Sende- und Empfangsein- 
heit (30b) aufweist die mit mit der Prozessoreinheit 
(12) Daten austauscht 

9. Anlage nach einem der AnsprOche 1 bis 8, da- 
durch gekennzeichnet daB die Einlese- und Ausga- 
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bevorrichtung (30) die bestellten Leistungen von 
einer Speisekarte (40) liest und an die Prozessorein- 
heit (12) ubermittelt. 

10. Anlage nach einem der Anspruche 1 bis 9, da- 
durch gekennzeichnet, daB die Einlese- und Ausga- 5 
bevorrichtung (30) eine Tischnummer (19a) von ei- 
nem Hsch (19) oder von einer Speisekarte (40) ab- 
liest und an die Prozessoreinheit (12) ubermittelt, 
wobei unterschieden wird, ob fur den Tisch eine 
Rechnung (50) gewunscht wird oder Bestellungen 10 
aufzunehmen sind. 

11. Anlage nach einem der Anspruche 1 bis 10, da- 
durch gekennzeichnet, daB die Prozessoreinheit 
(12) Bestellungen je nach Direr Art an eine Kuche 
(20) oder einen Getrankeausschank (22) weiterlei- 15 
tet 

12. Anlage nach einem der Anspruche 1 bis 1 1, da- 
durch gekennzeichnet, daB die Prozessoreinheit 
(12) abgerechnete Positionen fur Zwecke der Fi- 
nanzbuchhaltung und der Statistik aufbereitet und 20 
abspeichert 

13. Anlage nach einem der Anspruche 1 bis 12, da- 
durch gekennzeichnet, daB die Prozessoreinheit 
(12) auf der Grundlage abgerechneter Positionen 
eine Lagerbestandsanpassung veranlaBt 25 
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(c) works with both electronic and paper documents, and 

(d) avoids complications and inconveniences of devices such as 
bulky scanners and digital pads. 

As a resuft, users can readily create or manipulate paper documents 
5 while simultaneously making corresponding electronically-coded images of 
the same created or manipulated paper document. This is accomplished 
by means of a hand-held, pen-like instrument that can write on paper 
documents, simultaneously sense the writing, and interpret and enter the 
written markings in the electronically-coded document. Also, image 
10 sensing allows the system to identify the type of document being subjected 
to manually-written modifications. 



SUMMARY OF THE INVENTION 

A manual entry interactive handling system uses a writing instrument 
to manually write data on an ordinary document (that can have pre-printed 
information) and automatically interpret the written data so that a 
corresponding electronic document containing any pre-printed document 
information is modified by adding the written data to the stored electronic 
document. Both pre-printed data and the interpreted written data can be 
electronically displayed, the system comprises: 

(a) a physical document page with a surface suitable to be written 
upon that can also contain pre-printed document information; 

(b) a pen-instrument for writing on the physical document surface, 
the pen-instrument having suitable transducers for sensing 
both the written data and the multi-dimensional physical 
forces (e.g. up to three rectilinear and two rotational 
components) exerted on the pen instrument when writing and 
for reading pre-prinled digital codes, and a communication 
link to transmit the transducer data to a base unit; and 

(c) a base unii lor receiving the transducei^ata and converting 
the transducer data to binary digital information suitable for 
processing in the base unit CPU. or another computer, for 
document identification and for incorporating the written 
information with the pre-printed document information. 



In another embodiment, the transducers are capable of defining pen 
motion resulting from movement of the pen-instrument for other than writing 
such as pointing for the control of an object (such as lights). 



BRIEF DESCRIPTION OF THF DRAWINGS 

The present invention is illustrated by way of example and not 
limitation in the figures of the accompanying drawings, in which like 
references indicate similar elements and in which: 

Figure 1 shows the format of a daily CB page. 

Figure 2 is a flow diagram of the basic operation of a CB system. 

Figure 3 is a flow diagram for procedure 600 lor interpreting the 
pen-instrument input data. 

Figure 4 is a flow diagram of the entry select procedure 700. 

Figure 5 shows a CB system's major components. 

Figure 6 shows the architecture of a pen-instrument. 

Figure 7 shows the geometry of an infrared PI positioning system. 

Figure 8 shows an arrangement of strain gauge transducers in a 
pen-instrument. 

Figure 9 shows the interconnections of the strain gauges on the 
flexible diaphragm. 

Figure 10 is a triple bridge circuit for processing the strain gauge 
transducer data and for producing x, y, and z force components. 

Figure 1 1 shows a PI unit block diagram. 

Figure 12 shows a CB base unit block diagram. 



DETAILED DESCRIPTION 
A. Application Areas 

An interactive document system based on a pen-like instrument, or 
pen-instrument lor convenience, has application in numerous document 
5 systems that include, but are not limited to, the tallowing systems. 

Calendar Book : appointments entered on a physical page of a 
calendar book are sensed, interpreted, and 
recorded on an electronic calendar as well. 
Forms Processing : filling out ol a prescribed form would 
1 0 automatically cause the generation of a 

corresponding electronic form, the paper version 
being kept, as needed, for legal or salety 
reasons. A significant cost reduction in 
computer data entry results. 
15 Signature Verification : improved reliability of signature recognition 

obtained by storing the signature related 
time-course by using spatial location and 
pressure to characterize*^ signature. These 
parameters are not available to the forger from 
20 viewing the signature. 

Interactive Fax : a facsimile-system that permits users to receive 
documents by means of "links" similar to 
WebFax. This would permit the user to forward 



pages to selected users by simply writing the 
desired destination, which when sensed and 
interpreted would provide the communication 
"link". Also, the user can annotate the document 
and the transmit or store the document with the 
annotation without the use of a facsimile 
scanner. 

Document Editing : any paper document can be edited by 
crossing-out words, and by the use of 
typographic notation lor other editing operations, 
or annotated, or sent elsewhere. The paper 
modifications immediately affect the electronic 
version so that the electronic version can serve 
as the true source document because any 
access of. or communications of. that document 
would reflect all edits or annotations. 
Information Management : scanning the description of a reference 

document can have thaupaper (or its reference) 
stored in a designated file without photocopying. 
Document Reirieval : searching of electronic databases by writing or 
circling a few keywords, thumbnail descriptions, 
or by drawing pictures, which, when interpreted, 
pxovide the data location. 
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Note Book : using the pen-instrument tor writing notes on 
paper and for electronically retrieving notes 
previously written on paper and stored from a 
sequentially ordered (and/or an otherwise 
organized) electronic memory file. 

B. System Details 

B.1 Calendar Book fCB^ 

Because of the variety of possible document systems, as outlined in 
the preceding section, the details of the invention will be presented using a 
single application from which the extension to other applications will be 
readily understood by those practicing the art. For this reason, the 
Calendar Book is described below. 

The Calendar Book , or "CB" hereinafter, looks like a conventional 
calendar having a page representing a segment of.calendar time: a day. a 
week, a month, or a year. Each segment of time is further subdivided as 
needed: a year into months and weeks, a month into weeks and days, a 
day into hours and fractions thereof. Digitally coded information is printed 
on each page so that the pen-instrument can be us*d to read the pertinent 
digital code that identifies the page format and the segments of calendar 
time spanned by the CB page. 

Figure 1 shows a page 20 from a CB using a one day per page 
format. This version allows selectable information options to be printed for 
each day. An area is set aside for a bar code idemif.er 1 3 for specifying th< 



date (year, month, and day) and user I.D. The date (year optional) is also 
printed in area 21. Column of rectangles 22 and 22' are available for 
selecting and identifying the time by entering a suitable mark (such as a 
check mark) in the appropriate rectangle. Column 22 and 22* have 
5 identical meanings and are provided so that two entries, only 15 minutes 
apart may be entered each using a half width and indicated as separate by 
dividing line 23. For example, an appointment with Baker is indicated for 
10:00 a.m. while an appointment with Charlie is indicated for 10:15 a.m. In 
other words, each hour is divided into 15 minute-segments in this example. 

10 Other increments such as one-half hour and 10 minutes could also be 

specified. The user's choice would only be constrained by the application 
being served and the page size (or detail) available. The time of day is 
also indicated by the position of a written entry for any given calendar page 
format. The pen-instrument provides the writing point and the optical, the 

1 5 positional, and the writing point to paper pressure data to the computer for 
interpretation, storage and graphical display. 

The graphical display can provide immediate feedback by use of an 
optional cathode ray tube (CRT) display. The feedback can be a simple 
recreation of the written message by using pen-instrument positional 

20 writing point pressure data or the interpreted written message from a 
cursive character recognition device using the same data. In the latter 
case, incorrectly recognized written data can be scratched-out or 
over-written. 
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Bar codes are read by a bar code scanner on the side of the 
pen-instrument. The bar code recognition device may either constantly 
scan in search of a legitimate bar code or operate when the positional 
sensors indicate that the pen-instrument is in a horizontal position suitable 
5 for reading a bar code. 
B.2 Operating Mode 

Figure 2 is a flow diagram describing the basic operating mode of a 
particular CB. The operation begins at step 500 where it is assumed that a 
fixed format has been prescribed and its description is stored with the 

10 configuration informationJor that CB. Configuration data includes calendar 
type, chronology layout defining time intervals, segments, and writing 
spaces. Also, a user list is stored against which the bar-code I.D. can be 
checked for validity. 

At step 501 , the computer checks if the pen-instrument is moving 

1 5 horizontally, indicating that a CB operation is about to be initiated by 

reading the bar-code located in area 1 3. If not. the system goes into a wait 
loop in which the pen-instrument motion is monitored. If the appropriate 
horizontal motion is detected, the process proceed^4o step 502 in which 
the bar-code I.D. is read by scanning bar-code area 13 with the 

20 pen-instrument. If a valid bar code signal results, step 503 moves the 
process to step 505. otherwise the process goes to step 504 where an 
audible and/or visual alarm is set for informing the user that access is 
denied and the system returns to step 501 . The bar-code can also be 
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compared with a list of authorized codes and il a match exists the CB 
access request is validated and proceeds to step 505. At this juncture, the 
pen-instrument user may try to read the bar-code again or investigate the 
system for the cause of the misread bar-code data. 
5 At step 505, the electronic version of the CB page can be displayed 

on a screen (CRT or LCD) with the display including all prior entries on that 
page. The process enters another wait loop through test step 506 which 
checks if the writing point pressure signal exceeds threshold. If it does, this 
is taken as an indication that a pen-instrument operation is initiated and the 

10 process moves to step 511 where the previous wait loop index (step 507) is 
cleared. Otherwise, the process goes into a wait loop comprising step 507 
that counts the amount of passes (or time) that the loop is traversed. Step 
508 tests if a preset time has been exceeded, and if not goes back to step 
506. Otherwise, the loop count index of. step 507 is cleared in step 509 and 

1 5 the display is aborted in step 510 before returning to step 501 . 

Step 512 establishes the location of the written entry by using the 
gyroscopic rate information. By knowing the location of the bar-code page 
identification and by integrating gyroscopic velocijyjnformation, the 
location a; wr.ich pen : resssre is e:<er;ei is te'.^rz.inec Lr. 506. This 

20 information is used to locate the corresponding electronic entry on the 
electronic graphical display. 

From step 51 2. the process moves to step 600. a procedure for 
interpreting the message that the pen-instrument has entered on the CB 
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page. The procedure is shown in greater detail in Figure 3. The 
multi-sensor output signals from the pen-instrument are in electrical form, 
preferably as binary coded data. In this example, four data types are used 
and processed: pen-instrument pressure processed in processor step 601. 
gyroscopic restoring forces in processor step 602, optical data 
representative of the pen-instrument written message in processor step 
603, and an auxiliary data signal representative of special cues for 
identifying calendar and position data from <he printed CB page in 
processor step 604. Each processor step 601-604 extracts signal features 
from its associated data- source. A particular written data entry may include 
a number of distinct message unit such as a time code derived from the 
printed CB page, and a written portion that may include a name and place. 
The message input sequence is parsed into message segments in vector 
processor step 605 using the various processed sensor data from 
processors 601-604. Thus, the presence of the writing point-to-paper 
pressure over an interval of time indicates writing a message segment. 
Gaps between pressure intervals may indicate the gap between segments. 
A gap can also indicate a crossing of a T or the doUing of an-V after the 
word is written. In the latter case, gyroscopic data can confirm the 
backward pen-instrument motion and subsequent pen-instrument pressure 
coupled with either a stationary clotting action or a forward sweeping 
crossing of a V. By using time-synchronized multi-sensor data, the 
pen-instrument written message can be used to parse the input message 
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into distinct and interpretable acts. Parsing vector processor 605 produces 
a set of vectors describing each written segment which are then identified 
by comparing the parsed vectors with a stored set oi exemplar in exemplar 
store unit 607 by comparator step 606. In step 608. each parsed segment 
5 generates a set of candidate vectors corresponding to a plausible parsed 
message segment, which are preferably ordered in descending order of 
plausibility, i.e.. of being the correct message segment. 

The plausible candidate message units from message selection step 

608 are arranged by sequence index. 0 < k < K-1, indicating the order of 
1 0 occurrence of K message segments. The k* h message-unit has U 

plausible candidates designated by index l k . where 0 < l k < L k -1 and l k 
indicates decreasing plausibility with increasing value of l k . 

Because the system should provide a means for displaying a 
facsimile reconstruction of the written message, the output of parsing vector 
1 5 processor 605 also provides an output to locus reconstruction generator 

609 that operates on the gyroscopic and pen pressure data to reconstruct 
the locus of the pen point while writing. The digitized locus is passed on to 
entry point E of Figure 4 for conflict resolution, la s&me applications, a 
facsimile of the original written message is preferred and in others it 

20 provides a back-up to an alphanumeric interpreted representation based 
on character pattern recognition tecnniques. 

Step 700 is a multi-step process as shown in Figure 4. At step 701 . 
the message unit index, k. and the plausible candidate index, l k . are 
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cleared (k=0. I k =0). At step 702 the l k candidate of the k, n message unit is 
retrieved from memory and displayed graphically as trial message unit 
super-imposed on the appropriate CB page at the location corresponding 
to that written on the actual page calendar by the pen-instrument in step 
703. At this point in time, the CB user is allowed to examine the trial 
message unit in test step 704. Three exits from step 704 are provided: a 
wait loop (similar to that previously described) comprising wait loop 
indexing step 705 and test step 706 that examines the wait loop index to 
determine if the process should be aborted by returning to input B of Figure 
2 or returning to step 704. If the user indicaies by the pen-instrument that 
the candidate trial message unit is correct by making an appropriate 
pen-instrument movement (such as simulating or actually writing a check 
mark if correct and an "X" make if not), the process moves to step 710 
where the wait loop index is reset and then step 71 1 where index k is 
incremented and l k is set to zero. At step 712 a test is made to determine if 
all message units have been displayed and. if not. the process returns to 
step 702. 

If the user indicates at test step 704 that trreirial candidate message 
unit is not correct, the process goes to step 707 where the wait loop index is 
cleared and then to step 708 where the plausible candidate index l K is 
incremented. At step 709. I k is checked to determine if all of the candidates 
have been exhausted and. if not. the process returns to slep 702. If all 
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candidates have been exhausted, the process returns to the beginning via 

input B of Figure 2. 

If all message units are accounted for in step 712 (implying the 
graphical message on the screen is correct), the process checks to see if 
5 any conflict exists because two events are scheduled for the same time. If 
no conflict exists, step 714 stores the CB entry and the process proceeds to 
input B of Figure 3. If a conflict exists, a conflict alarm is given on the 
screen display or by any other means such as an audible alarm (step 715) 
and the user is given time to respond by the wait loop (steps 717, 718). If 

1 0 the response is not timely, the process aborts by returning to input B of 

Figure 2. If the user indicates that the new message should not be entered, 
step 716 aborts the process by returning to input B of Figure 2. It the user 
indicates at step 716 that the new entry should be entered, step 719 asks if 
the previous message is to be deleted and the new entry entered. If the 

1 5 user indicates by an appropriate signal from the pen-instrument that 
previous message is to be overridden, the process goes to step 720 
otherwise both forms of the written message are retained in step 721. 

Process 700 of Figure 4 is designed to sete* correctly identified 
candidates from a written character recognition device in step 704. 

20 However, an optional embodiment would provide for sending the 

processed data outputs from processing steps 601-604 of Figure 3 to an 
optional write simulation step 609 where the processed sensor data is used 
to generate a replica of the user's written message without any writing 
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recognition processing steps and is then displayed as a copy of the hand 
written message on the document. Also, both forms of written messages 
(an ASCII encoded interpretation of the message and a replica of the 
original) can be retained for future reference and selectively displayed on 
5 the CB display. By providing this option, the writing recognition process 
does not have to be 100% accurate. 

In this manner, the electronically stored version of the CB can served 
as the true source document for which the paper version and trail exists in 
close accord with the electronic version. If the paper version begins to 

1 0 become unnrranageable^ecause of numerous changes, the user can 

obtain a new print-out oi the page which may be a new page without any 
entries or a new page with all up-to-date entries. 

Because the source exists in electronic form, electronic agents can 
use this information to aid the user by. for example, reminding users of 

15 appointments, performing group scheduling with other agents, reviewing 
the series schedule, and providing support information for a given 
appointment. 

B.3 The CB System _ ; ~ 

The CB system 90, shown in Figure 5. includes four major hardware 
20 components: 

(1) a CB page 10 or 20, as previously described; 

(2) a pen-instrument (PI) 91 for providing a user with a means for 
entering data (both printed digital and written); 
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(3) a base-unit 92 lor electronically processing and storing data 
received from the PI and including processing and conditioning electronics 
96 and optional graphic screen display 95; and 

(4) a communication channel 93 between the PI and base-unit. 
B.3.1. Pen-Instrument (PI) 91 

PI 91 is configured as a -normal" pen. i.e. a writing instrument, that is 
to be conveniently held and used for writing on a CB page 10 as shown in 
Figure 6. In addition to providing a writing point that deposits ink (or other 
writing medium) on to paper surface by contact, the PI incorporates a 
battery power source 250. and transducers for providing information for the 
interpretation of the user written data or printed digital information from the 
DB page, including the following. 

Pncitinn Sensor 210 : an inenial reference system is provided 
by a gyroscope (gyro) in which a rotating member will' continue to turn 
about a fixed spin axis as long as no forces are exerted on the member anc 
the member is not accelerated. Gyro attitude transducers (free gyros) are 
used as two-degree-of-freedom gyros that can provide an output for each o 
two of a Pi s three attitude planes: pitch, yaw. aficHroll (or x. y. and z axes). 
Rate gyros are attitude-rate transducers that provide an output signal 
proportioned to angular velocity (time rate of change ol attitude). The rate 
of change of the two axes representing the plane of the CB page are used 
to interpret the motion and relative position associated the use ol the PI. 
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Accelerometers may also be used for position sensors by double 
integration of the acceleration signals. 

When the PI is equipped with an infrared (IR) detector, a multiplicity 
of two or more external IR radiating scanning sources located at prescribed 
positions can be used to track the position of the PI by using triangulation 
techniques that measure the angle at which each IR scanning source 
illuminates the PI. Alternatively, the PI can be equipped with an IR 
transmitter and two or more external scanning receivers located at 
prescribed positions can be used to track the position of the PI by 
triangulation. Fig. 7 shows the geometry of an IR tracking system using 
three external positions labeled 501, 511. and 521. Each position has a 
directive scanning beam (receiving or transmitting) 502. 512. and 522 
associated respectively with positions 501 . 51 1 . and 521 . The shaded 
area, labeled 530. represents the intersection of the beams and 
corresponds to the estimated position of the PI. 

Pressure Spnsnrs 100 : strain gauges (or other pressure 
sensitive transducers such as piezoelectric or reductive force transducers) 
connected to the shaft of the pen tip of the PI are.u&ed to record the forces 
applied to the tip by measuring the force exerted on four pairs of orthogonal 
strain gauges mounted on a flexible diaphragm that is attached to the inner 
walls of the PI with the pen shaft- connected to and passing through at right 
angles to the diaphragm center. Figure 8 shows how the pressure sensors 
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are mounted in the PI. The operation of such a structure has been 
described by Crane et al. in U.S. Patent Number Reg. 29,765. 

Figure 8 shows a PI cylindrical lower end 110 that houses a 
ball-point 116 on the lower end ot shaft 114 containing the ink reservoir. 
5 The shaft, supported by a non-conducting flexible diaphragm 112 that is 
attached to cylindrical wall 110, causes the diaphragm to flex when 
pressure is applied to ball-point 116. As a result, strain gauges 121-128 
that are affixed to diaphragm 1 12 are strained (or compressed) in 
accordance with the flexing of diaphragm 1 12 in response to the forces 
10 experienced by ball-point 116. In this manner, theforcesexperienced by 
ball-point 1 16 are converted into resistance changes in the strain gauges 
121-128. 

Because the strain gauges are paired and mounted on opposite 
sides of diagram 112, each pair, (121, 122). (123, 124). (125. 126). and 

15 (127, 128). tends to have opposite forces (tension vs. compression) 

applied to the upper and lower strain gauges. When a force is applied in 
the x-y plane (CB page plane) to ball-point 116, diametrically opposite 
pairs tend to have opposite tension and compression forces. However, 
when a force perpendicular to the x-y plane is applied, all pairs tend to 

20 experience similar distortions. These characteristics permit the separation 
of the ball point force to be resolved into three orthogonal components (X. 
Y. Z) where X and Y are in the x-y plane and Z is perpendicular to the x-y 
plane. Thus, by connecting the strain gauges 121-128 as shown in Figure 
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9 and applying the strain gauge connections to the multiple bridge circuit 
shown in Figure 10. the ball-point force is resolved at output terminals 152, 
174. and 160 into the X. Y. and Z components, respectively. 

The strain gauge bridge circuitry of Figure 11 is preferably mounted 
within the PI unit for greater noise immunity. 

Although Figure 8 shows shaft 114 parallel to the z* axis and 
perpendicular to the x'-y* plane, the writing surface of a CB page (x-y plane) 
generally would not be perpendicular to the z' axis because a "naturally" 
held pen-instrument would from an included angle between shaft 114 and 
the CB page surface of less than 90°. The transformation between two 
coordinate systems (x. y. z) and (x\ y\ z') that share a common origin (the 
per. tip) is readily accomplished by the following vector relationship. 
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where [X r .p. n . y n ]. for 1 < n<3. represents the direction cosine vector of 
the (x. y. z) unit vector with respect to the (x\ y\ z') unit vectors (for example 
see Korn and Korn, "Mathematical Handbook for Scientists and Engineers." 
McGraw-Hill Book Co., New York. 196.1, section 3T-12. "Translation and 
Rotation of Rectangular Cartesian Coordinate System"). 

By knowing the angular orientation of shaft 1 14 with respect to the 
CB page (x-y plane) and the (x\ y\ z*) components of force, the horizontal 
and vertical forces in the (x, y, z) system are read-ly obtained. Also, any 



21 

rotation of the PI coordinates with respect to its inertia! (gyro) system may 
also be accommodated by use of the above transformation. 

The angular rotation of shaft 1 14 would tend to be the same each 
time the PI is used by a given user. This would permit system to "learn" the 
5 proper value of the direct cosines or, equivalently. the angles of rotation by 
taking samples of vertical forces (z), horizontal plus vertical forces (x, z), 
and longitudinal plus vertical forces (y, z) when a given user respectively 
exerts a vertical force on the page, writes a horizontal line, and writes a 
longitudinal line. 

1 o The transformation of coordinates for pen tip forces is not essential 

because the information content of a vector is not changed by a linear 
coordinate transformation. However, it may be useful for the normalization 
of forces so that they are independent of how the pen-instrument was held. 
However, un-normalized forces may be useful for signature verification. 

1 5 because of the added parameters relating to how the pen-instrument is 
held and used. 

Pressure sensor information is useful for recognizing when a written 
entry is made on the CB page and for parsing the ffhtry into message units 
for easier message recognition. It is also useful for signature verification. 
20 Optical Sensor 220 : a charge-coupted-device (CCD) optical 

scanning transducer is used for reading reflected light variations from a 
scanned portion of the CB page covered by the CCD array. The transducer 



22 

is used to scan the identifying CB page bar-code. The CCD array can be 
located on the PI in several different areas: 

(a) a linear side mounted array 220 along the length of the PI is 
useful for scanning a large segment of the page; 
5 (b) a CCD array 260 at the tip of the PI pen or to one side of the 

tip is useful for identifying the local context of the document an exact 
location of the PI pen tip by recognizing pre-printed marks; or 

(c) a CCD array 240 at the back (i.e. "eraser) end of the PI 
because it is more intuitively acceptable than a side mounted array. 

10 Regardless of the location, the CCD sensors must be able to read 

digitally encoded and pre-printed information and support at least 
rudimentary optical character recognition (OCR). The particular choice of 
CCD will dictate the associated illumination requirements. 

A communication path 93 is needed for linking PI 91 with base unit 

1 5 92 where most signal processing of the PI sensor occurs. A wired 

communication link 93 can use a small tether connecting the PI to base unit 
92 but a wireless connection using either infrared or radio techniques 
would be preferred. For this purpose transmitter/receiver unit 230 is 
incorporated in PI 91. 

20 Figure 1 1 is a block diagram of the PI electronic system showing 

physical inputs to the system at left that include forces associated with 
motion, pen-tip forces due to writing, and reflected light for optical reading . 
These physical inputs are applied respectively to position sensor 210. 
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pressure sensors 100, and optical sensors 220. 240. and 260. The sensor 
outputs are multiplexed into the modulator of transmitter 230 by multiplexer 
(MUX) 275. MUX 275 may be either a time-division or frequency 
multiplexer. Overall control of the PI system is provided by controller 270. 
5 B.3.2 Base Unit 92 

Base unit 92. shown in Figure 12. communicates with PI 91, 
receiving sensor signals, processes the sensor signals, and drives any 
feedback device such as its display unit 95. The base unit is similar to a 
notebook keyboard computer comprising a CPU 940, keyboard 943, 

1 0 memory 942. and display 95. In addition, the signal conditioning unit 96 
includes a transmitter/receiver as pan of the communication channel 
interface 961 with communications link 93. and demux 962, and signal 
conditioning electronics (963-966) for preconditioning sensor signals from 
interface 961 and ana!og-to-digital converters for feeding digitized sensor 

1 5 related signals through mux 967 to the CPU for processing. The base unit 
can also connect with Wide Area Networks through I/O interface 944 and is 
able to retrieve and modify electronic versions of the user's documents. An 
optional auxiliary processor 941 (shown dotted) -can be used to augment 
CPU 940 for executing written message recognition algorithms that require 

20 more intensive digital signal processing than that usually done by the CPU. 
Advances in micro-electronic techniques can allow most of the 
functions of the base unit to be incorporated in the PI unit, particularly the 



sensor signal conditioning, binary coded signal generation, and cache 
memory for buffering and temporary storage. 
C. Other Applications a nd Variations 

The above description of a CB system that uses a pen-instrument 
and base system was used as a convenient means to describe the 
operation of a manual entry interactive paper and electronic document 
handling and processing system. 

It should be noted that had any of the other applications listed in 
section A of the Detailed Description, the basic system configuration would 
be the same: 

(a) a physical document with a writing surface and pre-printed 
information; 

(b) a pen-instrument for reading pre-printed (bar code) 
information, for sensing writing forces, for sensing 
pen-instrument motion, for sensing written characters, and for 
transmitting the information to a base unit; and 

(c) a base unit for receiving information generated by the 
pen-instrument, interpreting the inferwation and modifying a 
stored electronic version of the physical document and 
displaying the interpreted results to the user for acceptance or 
correction. 

Therefore, the CB system description has served as an adequate 
vehicle for supporting a general manual entry interactive paper and 



electronic document handling and processing system. A specialized 
application program package would customize the system described for 
each distinct application and document type. 

Although the previous description of the PI and its use emphasized 
5 optical reading and message writing on a document surface, it should be 
recognized that the PI may also provide information from its gyroscopes 
and/or accelerometers for describing non-contact gestures unassociated 
with physical writing on a document. Two cited examples of this form of 
input to the system are the "check" signal indicating affirmation (correct) 

1 0 and the "X" signal indicating negation (wrong). Other gestures may be 
designed for use in a given context to indicate special messages (e.g., in 
editing, horizontal oscillatory motions may indicate deletion if performed 
over a previously written message or it may indicate an "underline" if not 
performed over a written message but under the message). 

1 5 Selective use of color may also be used to distinguish entries from 

authorized multiple users by generating an I.D. code for each user's PI at 
the outset cf writing session. A color display could readily identify the 
source of entries by using a different color coding for each user. 

One or more buttons may be provided to initiate certain actions such 

20 as indicating that a bar code is to be read. 

The PI can be used for other purposes than writing. For example, 
the PI can function as a pointer or as a "master mouse" that drives a slave 
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mouse cursor on a graphic display or for navigating 3-dimensional virtual 
reality displays. A button can be used as a mouse button. 

Yet another variation of the PI can have a receiver for receiving the 
output of multiple (infrared) transmitter for position location using 
5 triangulation techniques. This variation could be used for blackboard 
writing or other large surface writing and display boards. 

In the foregoing specification, the invention has been described with 
reference to specific embodiments thereof. It will, however, be evident that 
various modifications and changes (as described above) may be made 
10 thereto without departing from the broader spirit and scope of the invention 
as set forth in the appended claims. The specification and drawings are. 
accordingly, to be regarded in an illustrative rather than a restrictive sense. 
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1 . A manual entry data handling system for storing data 

. . ,• „ _, _ manual instrument in a 

representative of motion ot a " lo 

multi-dimensional space, the system comprising: 

(a) a first communication channel; 

(b) a manual instrument having at least one transducer for 
sensing self motion in the multi-dimensional space, generating a 

signal representative of the self motion, and a first communication channel 
interlace for accepting and sending the signal over the first 

communication channel; and 

(c) a base processing unit with a control processing unit. (CPU), a 
first communication channel interface coupled to the first communication 
channel for accepting the signal sent by the. manual instrument 
over the communication channel and for storing a representation of the 

s.gnai into a memory under control of the CPU so that the stored 
representation can be retrieved for reconstructing the self motion of the 

manual instrument. " 

2. The system ol claim 1 wherein the base processing unit is 
contained within the manual instrument and further comprises a second 
communication channel interface for coupling the CPU torn external bus 
for control and data communications to other devices. 
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3. The system of claim 1 wherein the manual instrument 
transducers for sensing self motion are rate gyroscopes that generate a set 
of electrical signals, each electrical signal representative of a component of 
motion in the multi-dimensional space. 

4. The system of claim 1 wherein the manual instrument 
transducers for sensing self motion are accelerometers that generate a set 
of electrical signals, each electrical signal representative of a component of 
motion in the multi-dimensional space. 

5. The system of claim 1 wherein the manual instrument 
transducers for sensing: self motion are a combination of at least one rate 
gyroscope and at least one accelerometer for generating a set of electrical 
signals, each electrical signal representative of a component of motion in 
the multi-dimensional space. 

6 The system of claim 1 further comprising at least two infrared 
receiving scanning stations located at prescribed positions external to the 
manual instrument for scanning the area in which the manual instrument is 
located, and wherein the manual instrument transducer for sensing self 
motion is an infrared transmitter for transmitting arWnfrared signal that is 
detected by the infrared receiving stations 1or determining the manual 
instrument position by triangulation techniques. 

7. The system of claim 1 further comprising at least two infrared 
radiating scanning sources located at prescribed positions external to the 
manual instrument for illuminating the manual instrument, and wherein the 



manual instrument transducer lor sensing self motion is an infrared detector 
for detecting the illumination by each external infrared source for 
determining the manual instrument position by triangulation techniques. 

8. The system of claim 1 wherein the manual instrument is for use 
as a writing instrument. 

9. The system of claim 1 wherein the manual instrument is for use 
as a pointer. 

10. A manual entry interactive document handling system using a 
writing instrument to write data on a document and interpret 
the written data so that a corresponding electronic document is modified by 
incorporating the written data, the electronic document data suitably 
encoded as binary data, the system comprising: 

(a) a physical document page with a surface suitable for writing 

upon; 

(b) a communications channel; 

(c) a pen-instrument having a writing point for writing data on the 
physical document page using a visible writing medium, including a set of 
transducers for sensing the written data by generating electrical signals 
representative of physical actions exerted or the pen-instrument when used 
for writing, and a communications interface for sending the electrical signals 
over the communications channel; and 

(d) a base processing unit including: 
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(i) a communications interlace for interfacing with the 
communications channel and receiving the electrical signals from the 
pen-instrument, 

(ii) a signal conditioning unit for converting the electrical 
signals into binary coded data; 

(iii) a central processing unit (CPU) with a memory for 
programmable control of the base processing unit for storing and modifying 
documents stored in the memory in conformance with the electrical signals 
received from the pen-instrument. 

1 1. The system of claim 10, wherein the physical document page 
has pre-printed data in support of an application for which the physical 
document page is intended and a corresponding image stored in the base 
processing unit. 

12. The system of claim 11. wherein the physical document page 
has a visual binary encoded signal for identilying the application, the visual 
binary encoded signal suitable for reading using an optical sensor located 
in the pen-instrument. 

13. The system of claim 12. wherein tl>e«physical document page 
is a calendar page and the visual binary encoded signal identifies a 
calendar segment as the calendar segment represented by the physical 
document page. 

14. The system of claim 13. wherein the document page has a 
second visual binary encoded signal suitable for reading using an optical 
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sensor located in the pen-instrument for identifying a location of a 
prescribed application area on the physical document page. 

15. The system of claim 14 wherein the second visual binary 
encoded signal identifies the location of a prescribed application as a 
calendar segment that is a fraction of the physical document page calendar 
segment. 

16. The system of claim 10 wherein the physical document page 
has a visual binary encoded signal for identifying a user associated with the 
physical document page. 

17. The system of claim 10 wherein the' perHnstrument visible 
writing medium is ink. 

1 8. The system of claim 10 wherein the pen-instrument visible 
writing medium is pencil-graphite. 

1 9. The system of claim 10 wherein the pen-instrument visible 
writing medium is chalk. 

20. The system of claim 10 wherein the pen-instrument further 
includes an optical sensing device for reading a visual binary encoded 
signal imprinted on the physical document page - 

21. The system of claim 20 wherein the optical sensing device is a 
charge coupled device (CCD). 

22. The system of claim 10 wherein the pen-instrument set of 
transducers is a set of accelerometers. 
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23. The system of claim 10 wherein the pen-instrument set of 
transducers is a set of rate gyroscopes. 

24. The system of claim 10 wherein the pen-instrument set of 
transducers includes at least one rate gyroscope and at least one 
accelerometer. 

25. The system of claim 10 wherein the pen-instrument further 
comprises a pressure transducer for generating an electrical signal 
representative of the force applied to the pen-instrument writing point when 
writing on the physical document page surface. 

26. The system of claim 25 wherein the pressure transducer is a 
set of strain gauges arranged to generate a set of electrical signals 
representative of three orthogonal components of force applied to the 
pen-instrument writing point with two-orthogonal components in the physical 
document page surface and a third perpendicular to the same surface. 

27. The system of claim 10 wherein the pen-instrument further 
comprises an optical array sensor located near the pen-instrument writing 
point for reading a local optical image in the vicinity of the pen-instrument 
writing point. * 

28. The system of claim 27 wherein the optical array sensor is a 
charge coupled device array. 

29. The system of claim 10 wherein the communication channel is 
a radio link. 
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30. The system of claim 10 wherein the communication channel is 
an infrared channel. 

31 . A method for manual entry of data into a document handling 
system using a pen-instrument having a writing point for writing data on a 
physical document and ir^erpretinr the written data so that a 
corresponding electronic document is modified by incorporating the written 
data, the physical document having a prescribed printed format including a 
bar code for document identification, the document handling system having 
a stored electronic copy of the physical document, the pen-instrument 
having means lor detecting a set of physical forces acting on the 
pen-instrument when writing, the set of physical forces for describing the 
written data on the physical document including the detection of forces 
acting on the pen-instrument writing point, and means for reading the 
document identification bar code, the method comprising: 

(a) reading the bar code using the pen-instrument; 

(b) moving the pen-instrument to an initial location on the physical 
document at which writing is to begin as indicated by forces acting on the 
pen-instrument writing point; * *** 

(c) computing the initial location from the forces required to move 
the pen-instrument from me bar code location to the initial location; 

(d) writing on the physical document using the pen-instrument 
writing point and detecting a set of forces acting on the pen-instrument while 
writing; 
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(e) reconstructing the written data electronically from the detected 
set of forces; 

(f) superimposing the reconstructed written data on to the stored 
electronic copy of the physical document. 

32. The method of claim 31 wherein the reconstructed written data 
is representative of the writing point locus traversed on the physical 
document during writing. 

33. The method of claim 31 wherein the reconstructed written data 
is an alphanumeric interpretation of the written data. 
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